Multivariate time series forecasting constitutes important functionality in cyber-physical systems, whose prediction accuracy can be improved significantly by capturing temporal and multivariate correlations among multiple time series. State-of-the-art deep learning methods fail to construct models for full time series because model complexity grows exponentially with time series length. Rather, these methods construct local temporal and multivariate correlations within subsequences, but fail to capture correlations among subsequences, which significantly affect their forecasting accuracy. To capture the temporal and multivariate correlations among subsequences, we design a pattern discovery model, that constructs correlations via diverse pattern functions. While the traditional pattern discovery method uses shared and fixed pattern functions that ignore the diversity across time series. We propose a novel pattern discovery method that can automatically capture diverse and complex time series patterns. We also propose a learnable correlation matrix, that enables the model to capture distinct correlations among multiple time series. Extensive experiments show that our model achieves state-of-the-art prediction accuracy.

Denoising diffusion (score-based) generative models have recently achieved significant accomplishments in generating realistic and diverse data. These approaches define a forward diffusion process for transforming data into noise and a backward denoising process for sampling data from noise. Unfortunately, the generation process of current denoising diffusion models is notoriously slow due to the lengthy iterative noise estimations, which rely on cumbersome neural networks. It prevents the diffusion models from being widely deployed, especially on edge devices. Previous works accelerate the generation process of diffusion model (DM) via finding shorter yet effective sampling trajectories. However, they overlook the cost of noise estimation with a heavy network in every iteration. In this work, we accelerate generation from the perspective of compressing the noise estimation network. Due to the difficulty of retraining DMs, we exclude mainstream training-aware compression paradigms and introduce post-training quantization (PTQ) into DM acceleration. However, the output distributions of noise estimation networks change with time-step, making previous PTQ methods fail in DMs since they are designed for single-time step scenarios. To devise a DM-specific PTQ method, we explore PTQ on DM in three aspects: quantized operations, calibration dataset, and calibration metric. We summarize and use several observations derived from all-inclusive investigations to formulate our method, which especially targets the unique multi-time-step structure of DMs. Experimentally, our method can directly quantize full-precision DMs into 8-bit models while maintaining or even improving their performance in a training-free manner. Importantly, our method can serve as a plug-and-play module on other fast-sampling methods, e.g., DDIM.

持续的19日大流行造成了全世界人民的不可估量的损失。为了遏制病毒的传播并进一步减轻危机，已经发布了各种健康政策（例如，在家命令），随着用户转向社交媒体分享他们的态度，他们引发了热烈讨论。在本文中，我们考虑了有关大流行病的立场检测（即跨目标和零照片设置）的更现实的场景，并提出了一个基于对抗性的学习立场分类器，以自动识别公众对与COVID相关健康健康相关健康的态度政策。具体而言，我们采用对抗性学习，使模型可以训练大量标记的数据并从源主题中捕获可转移的知识，从而使具有稀疏标记数据的新兴健康政策概括。同时，设计了一个地理编码器，鼓励模型学习每个区域指定的未观察到的上下文因素，并将其表示为非文本信息，以增强模型的更深入的理解。我们评估了与CoVID-19相关策略的立场检测任务中广泛基线的性能，实验结果表明，我们提出的方法在跨目标和零击设置中都达到了最新的性能。

流行预测是有效控制流行病的关键，并帮助世界缓解威胁公共卫生的危机。为了更好地了解流行病的传播和演变，我们提出了Epignn，这是一种基于图神经网络的流行病预测模型。具体而言，我们设计了一个传输风险编码模块，以表征区域在流行过程中的局部和全局空间效应，并将其纳入模型。同时，我们开发了一个区域感知的图形学习者（RAGL），该图形将传播风险，地理依赖性和时间信息考虑在内，以更好地探索时空依赖性，并使地区意识到相关地区的流行状况。 RAGL还可以与外部资源（例如人类流动性）相结合，以进一步提高预测性能。对五个现实世界流行有关的数据集（包括流感和Covid-19）进行的全面实验证明了我们提出的方法的有效性，并表明Epignn在RMSE中优于最先进的基线。

对传染病疾病的准确预测是有效控制该地区流行病的关键。大多数现有方法忽略了区域之间的潜在动态依赖性或区域之间的时间依赖性和相互依存关系的重要性。在本文中，我们提出了一个内部和内部嵌入式融合网络（SEFNET），以改善流行病预测性能。 SEFNET由两个平行模块组成，分别是嵌入模块的系列间嵌入模块。在嵌入模块的串间嵌入模块中，提出了一个多尺度的统一卷积组件，称为“区域感知卷积”，该组件与自我发挥作用，以捕获从多个区域获得的时间序列之间捕获动态依赖性。内部嵌入模块使用长期的短期内存来捕获每个时间序列中的时间关系。随后，我们学习了两个嵌入的影响度，并将它们与参数矩阵融合法融合在一起。为了进一步提高鲁棒性，Sefnet还与非线性神经网络并行整合了传统的自回归组件。在四个现实世界流行有关的数据集上进行的实验表明，SEFNET具有有效性，并且表现优于最先进的基线。

脑血管图像分割可以用作有前途的生物标志物，以更好地预防和治疗不同的疾病。一种成功的方法是将细分视为图像对图像翻译任务，并执行条件生成对抗网络（CGAN），以学习两个分布之间的转换。在本文中，我们提出了一种新型的多视图方法，即MLP-GAN，该方法将3D体积脑容器图像分为三个不同的2D图像（即矢状，冠状，冠状，轴向），然后将其喂入三个不同的2D CGAN。拟议的MLP-GAN不仅减轻了原始3D神经网络中存在的记忆问题，而且还保留了3D空间信息。具体来说，我们利用U-NET作为发电机的骨干，重新设计与MLP混合器集成的Skip连接模式，该模式最近引起了很多关注。我们的模型获得了捕获交叉绘制信息的能力，可以与MLP混合使用者学习全局信息。在公共脑容器数据集上进行了广泛的实验，该数据集表明我们的MLP-GAN优于其他最先进的方法。我们在https://github.com/bxie9/mlp-gan上发布代码

旨在找到合成靶分子的反应途径的循环合成计划在化学和药物发现中起着重要作用。此任务通常被建模为搜索问题。最近，数据驱动的方法吸引了许多研究兴趣，并显示了反递归计划的有希望的结果。我们观察到在搜索过程中多次访问了相同的中间分子，并且通常在先前基于树的方法（例如，或树搜索，蒙特卡洛树搜索）中独立处理。这样的裁员使搜索过程效率低下。我们提出了基于图的搜索策略，以消除任何中间分子的冗余探索。由于图形上的搜索比在树上更复杂，因此我们进一步采用图形神经网络来指导图形搜索。同时，我们的方法可以在图中搜索一批目标，并在基于树的搜索方法中删除目标间重复。两个数据集的实验结果证明了我们方法的有效性。尤其是在广泛使用的USPTO基准测试中，我们将搜索成功率提高到99.47％，以2.6分提高了先前的最新性能。

天气预报是一项有吸引力的挑战性任务，因为它对人类生活和大气运动的复杂性的影响。在大量历史观察到的时间序列数据的支持下，该任务适用于数据驱动的方法，尤其是深层神经网络。最近，基于图神经网络（GNN）方法在时空预测方面取得了出色的性能。但是，基于规范的GNNS方法仅分别对每个站的气象变量的局部图或整个车站的全局图进行建模，从而缺乏不同站点的气象变量之间的信息相互作用。在本文中，我们提出了一种新型的层次时空图形神经网络（Histgnn），以模拟多个站点气象变量之间的跨区域时空相关性。自适应图学习层和空间图卷积用于构建自学习图，并研究可变级别和站点级别图的节点之间的隐藏依赖性。为了捕获时间模式，扩张的成立为GATE时间卷积的主干旨在对长而各种气象趋势进行建模。此外，提出了动态的交互学习来构建在层次图中传递的双向信息。三个现实世界中的气象数据集的实验结果表明，史基元超过7个基准的卓越性能，并且将误差降低了4.2％至11.6％，尤其是与最先进的天气预测方法相比。

本文是关于线性和非线性滤波的深度学习方法。这个想法是训练一个神经网络，与标称动态模型产生的蒙特卡罗样本。然后，网络权重来自实际动态模型的蒙特卡罗样本。本文的主要重点是具有三大神经网络架构（DNN，CNN，RNN）的深层过滤器。我们的深层过滤器对线性情况下的传统卡尔曼滤波器有利地比较，并且在非线性情况下优于扩展卡尔曼滤波器。然后研究了具有跳跃的交换模型，以显示我们深度过滤的适应性和功率。在三个主要的NN中，CNN平均优于其他人。虽然RNN似乎没有适合过滤问题。当标称模型和实际模型不同时，深过滤器的一个优点是其鲁棒性。深度过滤的另一个优点是真实数据可以直接用于训练深度中性网络。因此，模型校准可以通过全部通过。

Driven by improved architectures and better representation learning frameworks, the field of visual recognition has enjoyed rapid modernization and performance boost in the early 2020s. For example, modern ConvNets, represented by ConvNeXt, have demonstrated strong performance in various scenarios. While these models were originally designed for supervised learning with ImageNet labels, they can also potentially benefit from self-supervised learning techniques such as masked autoencoders (MAE). However, we found that simply combining these two approaches leads to subpar performance. In this paper, we propose a fully convolutional masked autoencoder framework and a new Global Response Normalization (GRN) layer that can be added to the ConvNeXt architecture to enhance inter-channel feature competition. This co-design of self-supervised learning techniques and architectural improvement results in a new model family called ConvNeXt V2, which significantly improves the performance of pure ConvNets on various recognition benchmarks, including ImageNet classification, COCO detection, and ADE20K segmentation. We also provide pre-trained ConvNeXt V2 models of various sizes, ranging from an efficient 3.7M-parameter Atto model with 76.7% top-1 accuracy on ImageNet, to a 650M Huge model that achieves a state-of-the-art 88.9% accuracy using only public training data.